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基于 改进 ResNet50 模 型 的 自然 环境 下 苹果 物候 期 识别 
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摘 要 : [目的 /意义 ] 针对 传统 方法 对 自然 环境 下 荚果 物候 期 图 像 识别 精度 低 、 和 覆盖面 不 全 等 问题 ， 提 出 一 种 基 
于 改进 ResNet50 模 型 的 苹果 物候 期 识别 方法 。[ 方 法 ] 通过 搭建 球形 摄像 机 获取 复杂 背景 下 的 苹果 图 像 数 据 集 ， 
以 ResNet50 作 为 基础 模型 ， 引 入 SE (Squeeze-and-Excitation Network) 通道 注意 力 机 制 强化 对 苹果 图 像 的 特征 提 
取 能 力 ， 并 结合 余弦 退火 衰减 学 习 率 的 Adam 优 化 器 ， 实 现 自然 环境 下 高 原 红 富 士 苹果 物候 期 图 像 的 智能 识别 。 
[结果 ] 在 32,000 幅 苹果 树 图像 集 上 进行 了 试验 ， 结 果 表 明 ， 改 进 ResNet50 模 型 对 苹果 物候 期 图 像 进行 识别 ， 验 
证 集 准 确 率 达 到 96.35%， 测 试 集 准确 率 达 到 91.94%， 平均 检测 时 间 为 2.19 ms， 相 较 于 AlexNet、VGG16、 
ResNet18、ResNet34、ResNet101 以 及 经 典 ResNet50 模型 ， 最 优 验 证 集 准 确 率 分 别提 升 了 9.63% 、5.07% 、5.81%、 
4.55% 、0.96% 和 2.33%。 [结论 ] 改进 ResNet50 可 实现 对 苹果 物候 期 有 效 识 别 ， 该 研究 成 果 可 为 果园 物候 期 识别 
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提供 参考 ， 通 过 集成 至 果树 生育 期 智能 监测 生产 管理 平台 ， 实 现 苹果 园区 的 智能 化 管控 。 
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1 引 Ë 


蔷 果 是 中 国 重要 的 经 济 作物 ， 也 是 中 国 种 植 规 
模 较 大 的 果品 之 一 ， 在 国内 的 农产品 中 占有 重要 地 
位 "。 苹 果树 全 年 生长 周期 长 ,通常 需要 经 历 芽 
期 、 花 期 、 幼 果 期 、 有 果实 膨大 期 、 采 实 成 熟 期 等 多 
个 物候 期 ， 不同 物候 期 所 采取 的 养护 措施 各 异 “。 
苹果 树 物 候 期 的 有 效 识别 ， 可 指导 种 植 户 在 不 同 物 
候 期 及 时 开展 修 枝 、 灌 溉 、 施 肥 、 套 袋 、 采 摘 等 措 
施 ， 为 果园 的 科学 管理 提供 有 效 依据 。 

现 有 的 果树 物候 期 的 识别 方法 是 通过 历史 数据 
预 估 或 人 工 观 察 来 判断 ， 当 苹果 园地 处 俩 远 或 小 气 
候 复杂 地 区 时 ， 这 种 方法 误差 大 、 效 率 低 ”“。 近 年 
来 ， 随 着 深度 学 习 在 人 工 智能 领域 的 不 断 发 展 ， 以 
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深度 学 习 理 论 为 指导 的 计算 机 视觉 技术 在 农业 中 得 
到 广泛 利用 ， 作 物 物 候 期 的 智能 识别 技术 研究 步 人 
新 的 阶段 。 李 诗 涛 等 ”提出 了 基于 时 间 序 列 全 极 
化 合成 孔径 雷达 数据 结合 决策 树 模 型 的 油菜 物候 期 
识别 方法 ， 对 油菜 物候 期 识别 取得 较为 准确 的 结 
果 。 王 志 妆 等 ”使 用 卷 积 神经 网 络 对 白茶 物候 期 
进行 识别 ， 再 融合 气象 特征 对 识别 效果 进行 优化 ， 
从 而 得 出 了 准确 率 较 高 的 白茶 物候 期 识别 模型 。 
Tan 等 “构建 了 基于 RiceRes2Net 的 田间 水 稻 穗 检 
测 及 生育 期 识别 模型 ， 对 水 稻 孕 穗 期 、 抽 穗 期 和 灌 
浆 期 的 识别 精度 分 别 达 到 了 99.83%, 99.34% 和 
94.59%。Li 等 ”提出 了 一 种 基于 深度 强化 学 习 的 
小 麦 生 育 期 识别 模型 及 动态 迁移 算法 ， 对 小 麦苗 
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H. SP BES. RIH, BERMEA RE 
率 较 高 。Aguiar 等 “通过 安装 在 移动 机 器 人 上 的 摄 
像 机 ， 结 合 深度 学 习 量 化 模型 实现 葡萄 生育 期 的 自 
动 检测 。Tian 等 ”提出 了 一 种 改进 的 YOLOv3 模 
型 ， 利 用 密集 连接 方法 处 理 低 分 辩 率 的 特征 层 ， 实 
现 苹果 幼 果 期 、 膨 大 期 、 成 熟 期 的 生长 阶段 判别 。 
许 增 等 "结合 ResNet 及 DenseNet 方 法 ， 对 现 有 Ti- 
ny-YOLOv3 模型 进行 改进 ， 可 实现 苹果 幼 果 期 、 
果实 膨大 期 和 果 期 成 熟 期 的 实时 检测 。 

国内 外 研究 者 运用 现代 深度 神经 网 络 技术 对 作 
物 的 物候 期 识别 研究 取得 了 一 定 成 效 ， 但 在 有 限 的 
计算 资源 和 偏远 地 区 网 络 环境 的 限制 下 ， 深 度 神经 
网 络 较 难 在 农业 实际 环境 中 得 到 应 用 ， 现 代 果 园 中 
的 物候 期 识别 仍然 大 量 依靠 人 工 观测 AS 
苹果 物候 期 识别 研究 大 多 与 果实 自动 采摘 的 目标 相 
结合 ， 更 多 关注 苹果 在 幼 果 期 、 成 熟 期 的 识别 ， 针 


(e) 果 实 着 色 期 (f) 果 实 成 熟 其 


对 苹果 树 全 生命 物候 期 识别 的 研究 较 少 。 本 人 研究 选 


用 四 川 高 原 地 区 红 富 士 苹果 树 为 研究 对 象 ， 以 改进 
ResNet50 模 型 为 主干 网 络 ， 引 入 注意 力 机 制 与 Ad- 
am 优化 器 对 苹果 物候 期 图 像 特征 信息 进行 融合 ， 
旨 在 实现 高 原 红 富 士 苹果 树 的 全 生命 物候 期 精准 监 
测 ， 为 苹果 园区 的 智能 化 管控 提供 科学 指导 和 决策 
依据 。 


2 材料 和 方法 


2. 


— 


试验 数据 采集 


高 原 红 富士 苹果 树 图 像 数据 采集 自 国 家 苹果 产 
业 技 术 体系 川西 高 原 综合 试验 站 。 该 站 位 于 四 川 省 
凉山 州 盐 源 县 ， 地 处 青藏 高 原 东 南 缘 ， 雅 敬 江 下 游 
西岸 ,海拔 2500 m， 属 亚热带 季风 气候 。 四 川 高 原 
红 富 士 苹果 树 全 年 需 经 历 芽 期 、 花 期 、 幼 果 期 、 果 
实 膨大 期 、 果 实 着 色 期 、 果 实 成 熟 期 、 落 叶 期 和 休 
虐 期 8 个 物候 阶段 ， 不 同 物候 期 的 苹果 图 像 如 图 1 
所 示 。 


(d) 果 实 膨大 期 
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(g) 落 叶 期 (h) 休 眠 期 


Al 不 同 物候 期 的 苹果 图 像 
Fig. 1 Apple images of different phenological periods 


以 搭建 在 试验 站 的 3 组 球形 网 络 摄像 机 ( 海 康 
威 视 ) 为 采集 设备 ， 由 球 机 、 立 杆 和 设备 箱 3 部 分 
组 成 ， 如 图 2 所 示 。 球 机 架设 在 立 杆 顶部 ， 当 球 机 
拍摄 完 图 像 后 ， 将 由 设备 箱 中 的 4G 网 络 模块 传输 
至 目标 服务 器 ， 服 务 顺 对 每 日 拍摄 的 图 像 进行 存储 
形成 物候 期 图 像 数据 集 。 


为 反映 不 同时 段 、 不 同 角 度 苹果 树 图 像 特征 ， 
为 摄像 机 设 定 运动 轨迹 ， 并 以 早 、 中 、 晚 三 个 时 间 
段 分 别 采集 图 像 (夜间 不 做 采集 )， 每 个 时 段 采 集 
35k, 每 天 9 张 ， 3 组 摄像 机 采集 了 2022 年 4 月 至 
2023 年 3 月 约 9800 张 原始 图 像 ， 摄 像 头 的 拍摄 参数 
设 定 如 表 1 所 示 。 
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图 2 革 果 图 像 采 集 设备 


Fig. 2 Acquisition device of apple images 


表 1 球形 网 络 摄像 机 参数 


Table 1 Parameters of dome camera 


名 称 参数 
品牌 海 康 威 视 
产品 型 号 DS-2DC4223IW-D 
产品 类 型 球形 网 络 摄像 机 
成 像 器 件 1/2.8"Progressive Scan CMOS 
电子 快门 /s 1/1~1/30,000 
分 辩 率 1920X 1080 
信 品 比 /dB >52 
压缩 格式 H.265/H.264/MJPEG 


由 果树 专业 人 员 对 9800 张 原始 图 像 进行 标记 : 
对 物候 期 特征 较为 明显 的 图 像 可 直接 标记 ; 若 个 别 
图 像 中 同时 包含 多 个 物候 期 的 特征 ， 则 参考 中 晚熟 


红 富 士 苹果 树 生育 期 划分 标准 ， 根 据 图 像 采 集 时 间 
和 同一 时 间 其 他 果树 的 物候 特征 来 综合 判定 。 例 如 
某 一 张 图 像 采 集 自 10 月 29 日 ， 果 树 在 落叶 的 同时 
存在 少量 尚未 采摘 的 果实 ， 人 参考 中 晚熟 苹果 树 生 育 
期 划分 标准 ， 该 时 期 处 于 落叶 期 ， 同 时 该 时 期 其 他 
果树 也 呈现 出 落叶 特征 ， 尽 管 图 像 中 存在 少量 未 采 
摘 的 果实 ， 该 图 像 依 然 标 记 为 落叶 期 。 


2.2 图 像 预 处 理 


本 人 研究 试验 图 像 均 为 试验 站 球形 摄像 机 在 自然 
环境 下 自动 采集 ， 由 于 现场 环境 的 复杂 性 和 不 确定 
性 ， 采 和 集 的 图 像 会 存在 物体 遮挡 、 曝 光 过 度 、 对 焦 
不 准 、 目 标 偏离 等 问题 ， 需 对 原始 网 像 数据 集 进行 
预 处 理 : 第 一 步 ， 将 全 年 采集 的 9800 张 图 像 通过 
数据 清洗 的 方式 得 除 无 效 图 像 数据 ， 保 留 8000 张 
成 像 效果 较 好 的 图 像 数据 ; 第 二 步 ， 由 于 苹果 各 物 
候 期 持续 时 间 长 得 不 同 ， 采 集 数 量 上 存在 一 定 差 
异 ， 为 避免 因数 量 不 平衡 导致 模型 精度 下 降 的 问 
题 ， 通 过 随机 裁剪 、 随 机 旋转 、 左 右 翻 转 、 调 整 亮 
度 等 方式 进行 数据 增强 ， 如 图 3 所 示 。 将 8000 张 原 
始 数据 扩 增 到 32,000 张 ， 在 提高 模型 的 泛 化 能 力 的 
同时 平衡 各 物候 期 的 数量 差 ; 第 三 步 ， 将 数据 增强 
后 的 32,000 张 图 像 数 据 集 按 8 : 1 : 1 的 比例 划分 为 
训练 集 (25,600 张 )、 验 证 集 (3200 张 ) 和 测试 集 
(3200 张 )。 


图 3 苹果 图 片 数据 增强 效果 图 


Fig. 3 Data enhancement effect of apple images 


ChinaXiv 合 作 期 刊 


202308.00178v1 


ChinaXiv 


2.3 改进 ResNet50 模 型 构建 


2.3.1 ResNet50 模 型 

传统 卷 积 神经 网 络 在 训练 模型 时 ， 会 随 着 网 络 
的 加 深 而 产生 精度 无 法 提升 的 问题 。2015 年 He 
等 "提出 的 ResNet 模 型 ， 通过 建立 残 差 映射 来 训 
练 深层 网 络 ， 有 效 解 决 了 深度 神经 网 络 中 梯度 消失 
和 梯度 爆炸 的 问题 ”。ResNet 模 型 的 核心 在 于 提 
出 了 一 个 捷径 连接 (Shortcut Connections) 结构 ， 
如 图 4 所 示 ""。 其 中 输出 值 x 进 入 第 一 权重 层 后 得 
Bl EE WE F(x); 在 通过 ReLU 激活 函数 进入 第 二 
权重 层 的 同时 ， 加 入 输入 x 的 恒 等 映 射 ， 得 到 理想 
映射 F(x)+x。 残 差 结 构 的 优势 在 于 让 浅 层 输入 值 x 
和 F(x)+x 之 间 的 传递 更 加 敏感 。 


x 


Weight layer 


F(x) ReLU 


Weight layer 


AN 
fA ~ X 
Fixx | } 
it) 
ReLL 


图 4 残 差 单元 结构 图 
Fig.4 Residual unit structure diagram 

ResNet 系列 模型 根据 层 数 的 不 同 分 为 
ResNet18、 ResNet34 、 ResNet50、 ResNet101 和 
ResNet152 等 ， 其 中 ResNet18 和 ResNet34 属于 浅 层 
网 络 ， 后 三 类 属于 更 深层 网 络 。ResNet50 相对 于 
ResNet18 和 ResNet34 拥有 更 深层 次 的 网 络 结构 ， 
在 图 像 分 类 的 特征 提取 中 更 有 优势 。 
ResNet101 和 ResNet152 在 深度 上 虽然 更 具 优 势 ， 
但 执行 效率 上 不 如 ResNet$0， 且 在 图 像 分 类 的 实际 
效果 与 ResNet50 相 差 不 大 。 在 综合 考虑 本 研究 的 试 
验 平台 性 能 指标 ， 及 自然 环境 下 苹果 树 物 候 期 识别 
的 复杂 程度 后 ， 本 研究 选择 将 Resnet50 模 型 作为 基 
础 模型 进行 改进 。 
2.3.2 ”SE 注意 力 机 制 

由 于 本 试验 高 原 苹 果树 的 图 像 均 为 自然 环境 下 
采集 ， 图 像 数 据 特征 的 提取 会 受到 大 量 环境 因素 影 
响 ， 模 型 无 法 自主 判断 所 提取 的 特征 是 否 为 背景 数 
据 特 征 。 注 意 力 机 制 借鉴 了 人 类 视觉 的 选择 机 人 制 ， 
将 注意 力 集中 在 具有 明显 特征 的 信息 上 ， 选 择 性 忽 


略 一 些 次 要 信息 ， 以 此 达到 最 优 识别 性 能 。 注 
意 力 机 制 包 括 通 道 注 意 力 机 制 和 空间 注意 力 机 制 ， 
在 本 研究 中 的 苹果 树 物 候 期 数据 均 为 复杂 环境 下 自 
然 生 长 的 果树 图 像 ， 并 非 独立 的 目标 物体 。 
此 ， 选 择 在 ResNet50 模型 中 增加 通道 注意 力 机 制 
(Squeeze-and-Excitation Network，SE) ， 用 于 提高 
模型 对 高 原 苹果 树 图 像 的 特征 提取 能 力 "”， 通道 
注意 力 机 制 的 网 络 结构 如 图 5 所 示 。 
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AS SE 通 道 注 意 力 机 制 的 网 络 结构 
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Fig. 5 SE channel attention mechanism 

SE 模 块 主要 包含 三 个 步 又: 第 一 步 ， 将 一 个 
特征 图 X， 经 过 F, 卷 积 后 得 到 大 小 为 HXWXC 的 
村 征 图 U， 特 征 图 U 经 过 已 ,压缩 后 得 到 1X1XC 的 
输出 ， 即 通过 全 局 平均 池 化 将 每 个 通道 的 二 维特 征 
压缩 为 一 个 实数 ” ， 其 表达 式 为 公式 (1)。 

RU 

HP, Wy ARREARS. su. dean Sf 
入 特征 图 ; c 表 示 特 征 通 道 数 ; i, 7 分 别 表示 特征 
数据 的 行 、 列 值 ; z. 为 输出 数据 特征 值 。 

第 二 步 ， 将 经 过 下 ,激活 的 1X1XC 和 矩阵 看 作 z， 
使 每 一 个 通道 获得 不 同 的 权重 ，z 和 矩阵 经 过 一 个 全 
连接 层 ， 把 维度 压缩 为 C/r，r 为 缩放 尺寸 参数 ， 经 
过 ReLu 激 活 函 数 后 ， 再 通过 另 一 全 连接 层 把 维度 
变 回 C， 使 输入 输出 通道 保持 一 致 ， 最 后 经 过 sig- 
moid 国 数 计算 获得 特征 权重 *， 其 表达 式 为 
公式 (2)。 

s=F,(z,W)=o(g(z, W))=o(W,6(Wz.,)) (2) 

其 中 ，56 表 示 ReLu 激 活 函 数 ; o 表 示 sigmoid Pk 
数 ; s 为 特征 权重 。 

第 三 步 ， 将 上 一 步 输出 的 * 与 原 特 征 数据 相 乘 ， 
实现 通道 的 原 有 数据 特征 加 权 标 定 ， 其 表达 式 为 
公式 (3)。 

Xe = F sate (Ues Se) = Se * Ue (3) 

其 中 ,表示 特征 图 UU 的 第 c 个 通道 s 表示 
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1X1XC 权 重 和 矩阵 的 第 c 个 通道 ， Fi 为 标定 操作 。 
2.3.3 Adam 优化 器 

在 模型 训练 过 程 中 ， 通 过 前 向 传播 过 程 得 到 损 
失 值 ， 再 进入 反 向 传播 过 程 得 到 参数 的 梯度 ， 优 化 
器 的 作用 在 于 利用 梯度 去 更 新 参数 ， 使 得 损失 不 断 
地 降低 2 n Adam (Adaptive Moment Estimation) 
优化 器 融合 了 自 适 应 学 习 率 的 梯度 下 降 算法 和 动量 
梯度 下 降 算法 的 优点 ， 既 能 适应 稀 玻 梯度 ， 又 能 组 
解 梯度 震荡 的 问题 3。 

Adam 优化 器 在 损失 梯度 更 新 时 ， 可 根据 不 同 


[Building block_4] X3 


本 研究 改进 ResNet50 模 型 在 Adam 优化 器 中 引入 余 
弦 退 火 (Cosine Annealing) 衰减 学 习 率 以 提高 Ad- 
am 优化 器 的 性 能 。 


2.4 物候 期 识别 模型 架构 


在 ResNet50 模 型 的 基础 上 ， 融合 通道 注意 力 机 
制 和 Adam 优 化 器 ， 在 每 组 残 差 模块 结尾 处 引入 SE 
通道 注意 力 ， 以 提高 模型 对 高 原 苹果 树 图 像 的 特征 
提取 能 力 。 同 时 ， 为 使 模型 能 够 快速 收 仿 ， 采 用 
ImageNet 作为 预 训 练 模 型 。 改 进 后 的 ResNet50 模 


图 6 苹果 物候 期 识别 改进 ResNet50 模型 网 络 结构 


Fig. 6 Structure of improved ResNet50 model network for apple phenological period identification 


其 中 Conv 代表 神经 网 络 中 的 卷 积 层 ， 
“Conv，7X7，64” 表 示 卷 积 核 大 小 为 7X7， 通 
道 数 为 64 的 卷 积 层 。Max pool 表 示 最 大 池 化 层 ， 
SE block 表示 注意 力 机 制 层 ，Average pool 表 示 平 
均 池 化 层 ，Softmax 为 全 连接 层 ， 整 个 模型 包含 4 
组 Building block, Building block 的 数量 分 别 为 3、 
4、6、3 个 。 


3 试验 结果 与 分 析 


本 研究 旨 在 通过 模型 参数 调 优 、 消 融 实验 、 人 性 
能 对 比 、 混 消 和 矩阵 等 试验 方式 ， 验 证 改进 ResNet50 
模型 对 苹果 树 物候 期 自 建 数据 集 识别 的 有 效 性 ， 及 
相对 于 其 他 常用 模型 在 性 能 上 的 优越 性 。 

3.1 试验 平台 

试验 平台 选择 基于 Python 语言 的 Pytorch 深度 
学 习 框 架 ， 操作 系统 选 为 Ubuntu 20.04。 为 保证 试 
验 环 境 的 独立 性 ， 模 型 训练 在 Anaconda 配置 的 虚 
拟 环 境 下 运行 。 试 验 环 境 详细 配置 如 表 2 所 示 。 


表 2 试验 运行 环境 配置 


Table 2 Operating environment configuration of the test 


配置 名 称 型 号 参数 
CPU Intel Xeon(R) Silver 4210 CPU @ 2.4 GHz 
GPU NVIDIA Quadro RTX 4000 
内 存 /G 128 
操作 系统 Ubuntu 20.04 
编程 语言 Python 3.8 
训练 框架 Pytorch 1.10.0 
虚拟 环境 Anaconda 2.0.3 


3.2 评价 指标 

选择 分 类 任务 中 常用 的 验证 集 准确 率 (Valida- 
tion Accuracy) 、 测 试 集 准 确 率 (Test Accuracy) 、 
平均 检测 时 间 (Average Detection) 、 混 消 和 矩阵 
(Confusion Matrix) 作为 高 原 红 富士 苹果 树 物候 期 
分 类 识别 模型 试验 的 评价 指标 。 


3.3 模型 参数 调 优 


Adam 优化 器 的 初始 学 习 率 通常 设置 为 0.1 至 
0.0001 之 间 ， 为 验证 不 同学 习 率 参数 下 Adam 优化 
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器 对 改进 ResNet50 模 型 训练 效果 的 提升 ， 本 研究 选 
取 0.1、0.01、0.001 和 0.0001 共计 4 组 学 习 率 分 别 
对 模型 进行 训练 ， 训 | 练 迭 代 轮 次 epochs 分 别 设置 为 


学 习 率 
一 一 0.1 


03 ——(.01 
0.001 
一 一 (10001 


1 6 il 16 21 26 3i 36 4 46 


BARI 
(a) 不 同学 习 率 对 准确 率 的 影响 


30、50、70 次 ,高原 苹 果树 图 像 训 练 集 和 验证 集 均 
采用 相同 数据 集 。 以 迭代 轮 次 在 50 次 时 为 例 ， 不 
同学 习 率 对 训练 结果 的 影响 如 图 7 所 示 。 


Rf 


— 0.0 
0.001 
— 0.0001 


损失 值 


1 6 11 6 21 2% 31 36 4 46 


选 代 轮 次 
(b) 不 同学 习 率 对 损失 值 的 影响 


图 7 Adam 优 化 器 设置 不 同学 习 率 对 准确 值 和 损失 值 的 影响 


Fig.7 Effect of different learning rates set by Adam optimizer on accurate values and loss values 


由 图 7 可 知 ， 当 Adam 优 化 器 的 初始 学 习 率 设 
置 为 0.0001 时， 试验 模型 的 准确 率 趋 近 于 最 优 ， 损 
失 值 曲线 收敛 最 快 。 当 初始 学 习 率 设置 为 0.0001， 
迭代 轮 次 设置 为 30、50、70 时 ， 模 型 取得 的 最 优 
验证 集 准 确 率 分 别 为 0.9354、0.9635、0.9528 Al 
此 改进 ResNet50 模 型 选取 学 习 率 0.0001、 和 迭代 轮 次 
50 作 为 Adam 优 化 器 的 训练 参数 。 


3.4 消融 实验 


为 验证 模型 改进 方法 的 有 效 性 ， 在 相同 数据 集 
下 对 不 同 改进 方法 的 ResNet50 模型 进行 消融 实验 。 
其 中 SE-ResNet50 表 示 增 加 SE 注意 力 机 制 的 改进 模 
型 ;Adam-ResNet50 表示 增加 Adam 优化 锅 的 改进 
模型 ; BIN SE 和 Adam 两 种 改进 方法 为 改进 
ResNet50 模 型 。 消 融 实 验 结果 如 表 3 所 示 。 

由 表 3 消 融 实 验 结 果 可 知 ， 与 原始 模型 
ResNet$0 相 比 ，SE-ResNet50 模 型 在 验证 集 准确 率 


表 3 改进 ResNet50 模 型 的 消融 实验 结果 
Table 3 Ablation experimental results of improved ResNetS0 


model 


和 测试 集 准确 率 上 分 别提 升 了 0.8% 和 2.99%， 可 见 
SE 注意 力 机 制 对 测试 机 准确 率 提升 较为 明显 。Ad- 
am-ResNet50 模 型 提高 了 模型 收敛 的 速度 ， 验 证 集 
准确 率 和 测试 集 准确 率 分 别提 升 2.19% 和 1.42%。 
改进 ResNet50 模 型 琶 加 两 种 改进 方法 ， 验 证 集 准确 
率 提升 2.33%， 测试 集 准确 率 提升 3.65%， 平均 检 
测 时 间 相 差 较 小 。 由 此 可 见 两 种 改进 方法 均 为 正 向 
改进 ， 对 模型 性 能 提升 效果 明显 。 


3.5 不 同 模型 检测 结果 对 比 


为 进一步 验证 改进 ResNet50 模 型 的 有 效 性 ， 将 
改进 ResNet50 模 型 分 别 与 目前 图 像 分 类 领域 最 第 用 
的 AlexNet、 VGG16、 ResNet18、 ResNet34、 
ResNet101 进行 对 比试 验 。 在 相同 训练 数据 集 和 运 
行 环境 下 ， 从 验证 集 准 确 率 (Validation Accuracy) 、 
测试 集 准 确 率 (Test Accuracy) 、 平 均 检 测 时 间 
(Average Detection) 3 个 方面 对 模型 进行 评价 。 不 
同 分 类 模型 的 试验 对 比 结果 如 表 4 所 示 。 

由 表 4 内 容 可 知 ， 改 进 ResNet50 模型 相 较 于 
AlexNet、VGG16、ResNet18、ResNet34、ResNet101 


验证 集 准 测试 集 准 平均 检测 
MRA MRA ”时 间 /ms 


模型 名 称 迭代 轮 次 


ResNet50 50 94.02 88.29 2.33 
SE-ResNet50 50 94.82 91.28 2.49 
Adam-ResNet50 50 96.21 89.71 2.08 
改进 ResNet50 50 96.35 91.94 2.19 


模型 ， 在 验证 集 准 确 率 上 分 别提 升 了 9.63%、 
5.07%、5.81%、4.55%、0.96%， 在 测试 集 准确 率 
上 分 别提 升 了 12.31%、6.88%、8.53%、8.67%、 
5.58%。 各 模型 在 RTX 4000 芯片 的 执行 下 ,平均 检 
测 时 间 差 距 均 在 1 ms 以内。 试验 结果 表明 ， 改 进 


ChinaXiv 合 作 期 刊 


202308.00178v1 


ChinaXiv 


表 4 苹果 树 物候 期 识别 试验 中 不 同 分 类 模型 的 性 能 对 比 
Table 4 Performances comparison of different classification 


models in apple tree phenological period recognition 


experiments 
模型 名 称 法 代 轮 次 验证 集 准 ”测试 集 准 和 
MRA MRA ”时 间 /ms 
AlexNet 50 86.72 79.63 2.07 
VGGI16 50 91.28 85.06 3.20 
ResNet18 50 90.54 83.41 1.83 
ResNet34 50 91.80 83.27 2.15 
ResNet101 50 95.39 86.36 2.83 
Hitt ResNet50 50 96.35 91.94 2.19 


ResNet50 模 型 在 高 原 苹果 树 自 建 数据 集中 的 性 能 优 
于 其 他 常用 分 类 模型 。 


3.6 苹果 树 物候 期 识别 模型 的 混淆 矩阵 


混淆 矩阵 是 评价 图 像 分 类 模型 的 重要 指标 之 
一 中。 由 于 红 富 士 苹果 全 年 8 类 物候 期 分 布 时 间 长 
短 不 同 ， 不 同 物候 期 的 测试 集 数 据 在 数量 上 有 较 大 
差异 。 为 客观 评价 模型 对 各 类 物候 期 的 识别 准确 
率 ， 提 高 模型 混 请 和 矩阵 的 可 读 性 ， 本 试验 从 测试 集 
3200 张 图 像 中 ,选取 8 类 物候 期 各 200 张 图 像 作为 
测试 数据 ， 得 出 的 混淆 和 矩阵 如 图 8 所 示 。 


RA ALPE 


落叶 期 


WRA 2 


预测 标签 
图 8 改进 ResNet50 模 型 的 苹果 物候 期 混淆 和 矩阵 


Fig. 8 Confusion matrix of apple phenology based on improved 


ResNetS0 model 


在 图 8 混淆 矩阵 中 ， 纵 轴 为 苹果 树 物候 期 图 像 
的 真实 标签 ， 横 轴 为 模型 预测 标签 ， 右 侧 为 预测 准 
确 率 分 布 热力 图 ， 主 对 角 线 为 模型 预测 正确 的 样本 
数量 ,颜色 越 深 代表 准确 率 越 高 。 由 图 8 可知 ， 芽 
期 和 休眠 期 的 准确 率 最 低 ， 且 相互 误 判 的 概率 较 


高 ， 测 试 准确 率 分 别 为 89.50% 和 87.44%。 分 析 原 
因 是 芽 期 与 休眠 期 在 宏观 特征 上 较为 相似 ， 本 模型 
的 图 像 采 集 设 备 观察 距离 较 远 ， 无 法 捕捉 到 芽 期 在 
生理 上 的 细微 特征 。 幼 果 期 、 果 实 膨 大 期 、 果 实 着 
色 期 由 于 相 邻 阶段 的 特征 相似 性 也 存在 少数 误 判 情 
况 。 红 富士 苹果 树 在 花期 与 果实 成 熟 期 的 外 在 特征 
较为 明显 ， 模 型 对 花期 和 果实 成 熟 期 的 识别 率 最 
高 ， 测 试 准确 率 分 别 达 到 97.50% 和 97.49%。 


3.7 苹果 树 物候 期 识别 模型 的 应 用 


苹果 树 物候 期 的 准确 识别 ， 可 指导 果园 管理 者 
在 不 同 物候 期 开展 农事 活动 。 作 者 所 在 团队 围绕 苹 
果树 物候 期 识别 模型 ， 研 发 了 “果树 生育 期 智能 监 
测 生 产 管 理 平 台 ”， 平 台 界 面 如 图 9 所 示 。 平 台 以 
苹果 树 物候 期 水 分 需求 特征 为 基础 ， 综 合 考虑 士 壤 
持 水 特征 、 作 物 日 水 分 消耗 量 、 天 气 降水 预报 以 及 
补 淮 点 等 因素 ， 计 算 果 树 生 长 日 需 水 量 和 缺 水 量 ， 
并 通过 控制 系统 实现 作物 精准 灌溉 。 

通过 混淆 矩阵 实验 结果 可 知 ， 改 进 ResNet50 模 
型 对 苹果 树 图 像 的 物候 期 整体 识别 率 虽 达到 90% 以 
E, 但 依然 存在 小 概率 的 误 判 情况 。 为 降低 模型 的 
误 判 概率 ， 提 高 模型 识别 准确 率 ， 确 保平 台 对 苹果 
园区 的 精准 管控 ， 平 台 后 端 采 用 取 最 大 值 法 降低 误 
判 概率 ， 具 体 措施 为 : 对 部 署 于 苹果 园区 的 3 组 摄 
像 头 设 定 成 像 效 果 较 好 的 拍摄 运动 轨迹 ， 并 以 早 、 
中 、 晚 三 个 时 间 段 采集 图 像 ，3 组 摄像 头 3 个 时 段 
分 别 采集 3 幅 ， 每 天 总 计 27 幅 ; 模型 对 27 幅 图 像 
的 识别 结果 进行 统计 ， 取 识别 数量 最 多 的 一 类 作为 
输出 结果 ， 并 更 新 当日 物候 期 信息 。 例 如 当日 27 
幅 苹 果树 图 像 中 ，22 幅 识别 为 幼 果 期 ，2 幅 识别 为 
花期 ， 3 幅 识 别 为 果实 膨大 期 ，1 幅 因 谈 挡 物 干扰 
无 法 识别 ， 则 平台 根据 取 最 大 值 法 更 新 当日 物候 期 
为 幼 果 期 ， 以 此 方式 矫正 识别 率 ， 提 高 平台 的 可 
靠 性 。 


4 结论 


本 研究 提出 一 种 基于 改进 ResNet50 模 型 的 自然 
环境 下 苹果 树 物候 期 识别 方法 ， 以 四 川 高 原 地 区 红 
富士 苹果 树 的 芽 期 、 花 期 、 幼 果 期 、 有 果实 膨大 期 、 
果实 着 色 期 、 果 实 成 熟 期 、 落 叶 期 、 休 有 卢 期 8 类 物 
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图 9 果树 生育 期 智能 监测 生产 管理 平台 


Fig. 9 Intelligent monitoring platform for childbearing period 


候 期 为 研究 对 象 。 在 经 典 ResNet50 模 型 的 基础 上 ， 
引入 SE 注意 力 机 制 、Adam 优 化 器 及 余弦 退火 衰减 
学 习 率 对 苹果 树 8 类 物候 期 进行 识别 。 主 要 结论 
如 下 : 

(1) 改进 ResNet50 模 型 在 引入 SE 注意 力 机 制 、 
Adam 优化 器 选取 初始 学 习 率 为 0.0001、 和 迭代 轮 次 
为 50 时 最 优 验证 集 准 确 率 达 到 96.35%。 相 较 于 
AlexNet、VGG16、ResNet18、ResNet34、ResNet101 
以 及 经 典 ResNet50 模 型 ， 最 优 验 证 集 准 确 率 分 别提 
升 了 9.63%, 5.07%, 5.81%, 4.55%, 0.96% 和 
2.33%» 

(2) 利用 混淆 矩阵 将 苹果 树 物 候 期 分 类 结果 可 
视 化 ， 改 进 ResNet50 模 型 的 总 体 测 试 准确 率 达 到 
91.94%， 其 中 花期 、 幼 果 期 、 果 实 膨 大 期 、 果 实 着 
色 期 、 果 实 成 熟 期 、 落 叶 期 的 识别 率 均 在 90% 以 
E, 进一步 验证 了 改进 ResNet50 模 型 对 苹果 树 物 候 
期 识别 的 有 效 性 。 


利益 冲突 声明 : 本 研究 不 存在 研究 者 以 及 与 公开 
研究 成 果 有 关 的 利益 冲突 。 
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Apple Phenological Period Identification in Natural 
Environment Based on Improved ResNet50 Model 


LIU Yongbo, GAO Wenbo, HE Peng’, TANG Jiangyun, HU Liang 


(Institute of Agricultural Information and Rural Economy, Sichuan Academy of Agricultural Sciences, Chengdu 610011, China) 


Abstract: 

[Objective] Aiming at the problems of low accuracy and incomplete coverage of image recognition of phenological period of 
apple in natural environment by traditional methods, an improved ResNet50 model was proposed for phenological period recogni- 
tion of apple. 

[Methods] With 8 kinds of phenological period images of Red Fuji apple in Sichuan plateau area as the research objects and 3 sets of 
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spherical cameras built in apple orchard as acquisition equipment, the original data set of 9800 images of apple phenological period 
were obtained, labeled by fruit tree experts. Due to the different duration of each phenological period of apple, there were certain dif- 
ferences in the quantity of collection. In order to avoid the problem of decreasing model accuracy due to the quantity imbalance, data 
set was enhanced by random cropping, random rotation, horizontal flip and brightness adjustment, and the original data set was ex- 
panded to 32,000 images. It was divided into training set (25,600 images), verification set (3200 images) and test set (3200 images) in 
a ratio of 8:1:1. Based on the ResNet50 model, the SE (Squeeze and Excitation Network) channel attention mechanism and Adam opti- 
mizer were integrated. SE channel attention was introduced at the end of each residual module in the benchmark model to improve the 
model's feature extraction ability for plateau apple tree images. In order to achieve fast convergence of the model, the Adam optimizer 
was combined with the cosine annealing attenuation learning rate, and ImageNet was selected as the pre-training model to realize intel- 
ligent recognition of plateau Red Fuji apple phenological period under natural environment. A "Intelligent Monitoring and Production 
Management Platform for Fruit Tree Growth Period" has been developed using the identification model of apple tree phenology. In or- 
der to reduce the probability of model misjudgment, improve the accuracy of model recognition, and ensure precise control of the plat- 
form over the apple orchard, three sets of cameras deployed in the apple orchard were set to capture motion trajectories, and images 
were collected at three time a day: early, middle, and late, a total of 27 images per day were collected. The model calculated the recog- 
nition results of 27 images and takes the category with the highest number of recognition as the output result to correct the recognition 
rate and improve the reliability of the platform. 

[Results and Discussions] Experiments were carried out on 32,000 apple tree images. The results showed that when the initial learn- 
ing rate of Adam optimizer was set as 0.0001, the accuracy of the test model tended to the optimal, and the loss value curve converged 
the fastest. When the initial learning rate was set to 0.0001 and the iteration rounds are set to 30, 50 and 70, the accuracies of the opti- 
mal verification set obtained by the model was 0.9354, 0.9635 and 0.9528, respectively. Therefore, the improved ResNet50 model se- 
lects the learning rate of 0.0001 and iteration rounds of 50 as the training parameters of the Adam optimizer. Ablation experiments 
showed that the accuracy of validation set and test set were increased by 0.8% and 2.99% in the ResNet50 model with increased SE at- 
tention mechanism, respectively. The validation set accuracy and test set accuracy of the ResNetS0 model increased by 2.19% and 
1.42%, respectively, when Adam optimizer was added. The accuracy of validation set and test set was 2.33% and 3.65%, respectively. 
The accuracy of validation set was 96.35%, the accuracy of test set was 91.94%, and the average detection time was 2.19 ms.Com- 
pared with the AlexNet, VGG16, ResNet18, ResNet34, and ResNet101 models, the improved ResNet50 model improved the accuracy 
of the optimal validation set by 9.63%, 5.07%, 5.81%, 4.55%, and 0.96%, respectively. The accuracy of the test set increased by 
12.31%, 6.88%, 8.53%, 8.67%, and 5.58%, respectively. The confusion matrix experiment result showed that the overall recognition 
rate of the improved ResNet50 model for the phenological period of apple tree images was more than 90%, of which the accuracy rate 
of bud stage and dormancy stage was the lowest, and the probability of mutual misjudgment was high, and the test accuracy rates were 
89.50% and 87.44% respectively. There were also a few misjudgments during the young fruit stage, fruit enlargement stage, and fruit 
coloring stage due to the similarity in characteristics between adjacent stages. The external characteristics of the Red Fuji apple tree 
were more obvious during the flowering and fruit ripening stages, and the model had the highest recognition rate for the flowering and 
fruit ripening stages, with test accuracy reaching 97.50% and 97.49%, respectively. 

[Conclusions] The improved ResNet50 can effectively identify apple phenology, and the research results can provide reference for 
the identification of orchard phenological period. After integration into the intelligent monitoring production management platform of 


fruit tree growth period, intelligent management and control of apple orchard can be realized. 
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